Tháng 1 năm 1961, Tổng Quân ủy ra chỉ thị thành lập Quân Giải phóng Miền Nam Việt Nam từ một bộ phận của Quân đội Nhân dân Việt Nam để chiến đấu trên chiến trường miền Nam Việt Nam[5]. Do theo Hiệp định Geneve (1954), tất cả lực lượng vũ trang chính quy của Quân đội nhân dân Việt Nam phải được tập kết ra Bắc nên Quân Giải phóng miền Nam Việt Nam được xây dựng và phát triển trên cơ sở các đội vũ trang tự vệ, vũ trang tuyên truyền của các địa phương miền Nam và lực lượng cán bộ, chiến sĩ, nhân viên kỹ thuật quân sự ở miền Bắc bổ sung, tăng cường từ năm 1959[1]

Đến trước khi thống nhất, lực lượng vũ trang chưa có lực lượng chủ lực, bộ đội địa phương mới chỉ có cấp đại đội. Nhận thấy cần đẩy mạnh đấu tranh vũ trang Bộ Chính trị ra Chỉ thị "Ra sức xây dựng mau chóng lực lượng của ta về cả hai mặt chính trị và quân sự, tập hợp đông đảo lực lượng cách mạng trong Mặt trận Dân tộc giải phóng,...Từ lấy đấu tranh chính trị là chủ yếu, sử dụng vũ trang tuyên truyền có mức độ để hỗ trợ đấu tranh chính trị trong thời trước nay do lực lượng so sánh đã thay đổi, cần phải chuyển phương châm đấu tranh: đẩy mạnh hơn nữa đấu tranh chính trị, đồng thời đẩy mạnh đấu tranh vũ trang lên song song với đấu tranh chính trị, tấn công địch bằng cả hai mặt chính trị và quân sự". Bộ Chính trị trong Chỉ thị ngày 24-1-1961 đề cập xây dựng các tiểu đoàn mạnh[6] Sau đó là chỉ thị xây dựng quân đội ở cấp trung đoàn (10 đến 15 trung đoàn).

Tại Hội nghị quân sự ở Chiến khu Đ ngày 15.2.1961 (1 Tết Tân Sửu), quyết định thống nhất các lực lượng vũ trang ở miền Nam Việt Nam thành Quân Giải phóng miền Nam Việt Nam. Bí thư Xứ ủy Nguyễn Văn Linh đọc nhật lệnh thống nhất lực lượng. Tham gia Hội nghị còn có các ông Phùng Văn Cung, ông Lê Thanh (đại diện lực lượng vũ trang giải phóng), Ung Ngọc Ky (đại diện Đảng Dân Chủ), Nguyễn Văn Hiếu (đại diện Đảng Xã hội cấp tiến)... Ông Phạm Thái Bường ủy viên quân sự Xứ ủy được cử làm Chính ủy, ông Nguyễn Hữu Xuyến làm Tư lệnh đầu tiên[7].

Cùng với sự ra đời của Quân Giải phóng miền Nam Việt Nam, cơ quan chỉ huy lực lượng vũ trang được thiết lập từ Miền đến xã, theo hệ thống dọc gồm: Ban Quân sự Miền trực thuộc Trung ương Cục miền Nam (thành lập tháng 1–1961), trên cơ sở tổ chức và nhân sự của Ban Quân sự liên Tỉnh ủy miền Đông Nam bộ. Thiếu tướng Trần Lương (Ủy viên Trung ương Đảng) làm Trưởng ban; Thiếu tướng Trần Văn Quang làm Phó ban. Trực thuộc Ban Quân sự Miền có các quân khu: Quân khu 1 (miền Đông Nam bộ); Quân khu 2 (miền Trung Nam bộ); Quân khu 3 (miền Tây Nam bộ); Quân khu 4 (Sài Gòn – Gia Định); Quân khu 6 (cực Nam Trung Bộ và Nam Tây Nguyên) - tên các quân khu của Trung ương Cục miền Nam, còn Trung ương đánh ký hiệu khác.

Trực thuộc các Quân khu là Ban Quân sự các tỉnh. Dưới tỉnh có Ban Quân sự các quận, huyện. Dưới huyện có các xã đội. Tại các thành phố, thị xã có cơ sở vũ trang bí mật, các đội biệt động, các đội vũ trang tuyên truyền, các Ban Quân sự mật. Sau đó Ban Bí thư có điện ngày 18-8-1961 gửi Trung ương Cục Miền Nam cử ông Trần Văn Quang làm Tư lệnh Nam Bộ, ông Nguyễn Đôn về làm Tư lệnh khu V. Hội nghị Trung ương Cục Miền Nam tháng 10-1961 quyết nghị Ban Quân sự Miền (mật danh là Ban Quân sự R) chịu sự lãnh đao trực tiếp của Trung ương Cục, đồng thời chịu sự chỉ đạo của Quân ủy trung ương, Bộ Quốc phòng. Về tổ chức Đảng có Đảng ủy quân sự chịu trách nhiệm mọi mặt công tác quân sự và lãnh đạo các Đảng bộ, các đơn vị trực thuộc. Bộ Tư lệnh cấp quân khu (mật danh là Ban Quân sự T), chịu sự lãnh đạo của Khu ủy, đồng thời chịu sự lãnh đạo của Đảng ủy và Ban Quân sự Miền. Đảng ủy và Bộ Tư lệnh các quân khu chịu trách nhiệm lãnh đạo, chỉ đạo các mặt công tác của Đảng bộ, các đơn vị trực thuộc. Bộ Chỉ huy cấp tỉnh đội, huyện đội (gọi là Ban quân sự U và V), không tổ chức Đảng ủy mà do Thường vụ tỉnh ủy và huyện ủy trực tiếp lãnh đạo, cử các đồng chí thường vụ phụ trách quân sự cùng một số cán bộ cấp ủy chỉ định thành lập cơ quan tỉnh và huyện. Xã đội (còn gọi là Y)[8].

Ban Quân sự Miền do Phạm Thái Bường làm trưởng ban; Phạm Văn Xô phụ trách hậu cần; Trần Văn Quang (Ủy viên dự khuyết Ban Chấp hành Trung ương Đảng, Phó Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam) Chỉ huy trưởng Quân sự, Trần Lương lấy tên công khai là Trần Nam Trung (Ủy viên Ban Chấp hành Trung ương Đảng, phó Chủ nhiệm Tổng cục chính trị Quân đội nhân dân Việt Nam) là Ủy viên Quân sự trong Ủy ban Trung ương Mặt trận Dân tộc giải phóng miền Nam, phụ trách chính trị các lực lượng vũ trang giải phóng. Chỉ huy phó: Nguyễn Hữu Xuyến; Ủy viên: Phạm Văn Xô, Phạm Thái Bường. Năm 1962, Phạm Thái Bường được điều về Khu 9, Trần Lương phụ trách quân sự. Ban Quân sự được xác định là một Ban trực thuộc Trung ương Cục, có nhiệm vụ theo dõi tình hình, làm tham mưu cho Trung ương Cục ra các chỉ thị, nghị quyết về quân sự và trực tiếp chỉ đạo, chỉ huy các chiến trường là lực lượng vũ trang B2 gồm Nam bộ, Cực Nam Trung bộ và Nam Tây Nguyên. Về mặt tuyên truyền công khai và quan hệ đối ngoại tên là Bộ Chỉ huy các lực lượng vũ trang giải phóng miền Nam Việt Nam.

Đây là lực lượng vũ trang trong thành phần của Mặt trận Dân tộc Giải phóng miền Nam Việt Nam (1960-1976) và chịu quản lý của Chính phủ Cách mạng lâm thời Cộng hòa miền Nam Việt Nam (1969-1976), công khai do Đảng Nhân dân Cách mạng Việt Nam chỉ đạo. Thực chất, đây là lực lượng Vệ Quốc Đoàn còn ở lại miền Nam Việt Nam và lực lượng chiêu mộ tại chỗ, kết hợp với những người miền Nam tập kết ra Bắc bí mật quay lại miền Nam từ năm 1959, về sau được tăng cường thêm các bộ đội từ miền Bắc vào. Theo các điều khoản của Hiệp định Paris, có sự phân chia Quân đội nhân dân Việt Nam và Quân giải phóng Miền Nam.

Ngày 2 tháng 9 năm 1961, hai tiểu đoàn sau trực thuộc Trung đoàn 1 bộ binh (lúc mới thành lập mang bí số C.56, sau đổi là Q. 761) được thành lập tại căn cứ Dương Minh Châu (miền Đông Nam Bộ). Đây là đơn vị chủ lực cơ động cấp trung đoàn đầu tiên của Quân Giải phóng miền Nam, do Bộ Chính trị trực tiếp quyết định. Trung đoàn này hình thành gồm các chiến sĩ tuyển từ miền Đông và Tây Nam Bộ với cán bộ từ miền Bắc (mật danh “Đoàn 562”, xuất phát từ Xuân Mai, Hà Đông vượt Trường Sơn tháng 3-1961 vào đến miền Nam) gồm tiểu đoàn 1 và 2, mỗi tiểu đoàn 126 cán bộ chiến sĩ do Quân ủy, Ban Quân sự Miền trực tiếp chỉ đạo. Ngày 9 tháng 2 năm 1962, thực hiện quyết định của Quân ủy, Ban Quân sự Miền, Trung đoàn bộ binh 1, Trung đoàn đầu tiên của Nam bộ và cực Nam Trung bộ chính thức làm lễ ra mắt với mật danh Q761. Đồng thời, để tiếp tục tăng cường lực lượng cho miền Nam, ngày 22 tháng 12 năm 1961, tại Xuân Mai (Hà Đông), Quân ủy Trung ương và Bộ Quốc phòng quyết định thành lập Trung đoàn bộ binh 2 và điều động ngay vào chiến trường Nam bộ. Tháng 6 năm 1962, Trung đoàn bộ binh 2 làm lễ ra mắt Trung ương Cục, Quân ủy, Ban Quân sự Miền. Đây là một trung đoàn thực binh hoàn chỉnh đầy đủ biên chế quân số, trang bị đầu tiên hành quân từ miền Bắc vào được mang mật danh Q762. Như vậy Trung đoàn bộ binh 1, 2, là hai trung đoàn chủ lực đầu tiên của Quân giải phóng Miền Nam trực thuộc Ban Quân sự Miền ra đời, hoạt động ở chiến trường Nam bộ và cực Nam Trung bộ (B2). Chiến trường B1 do Trung ương trực tiếp chỉ đạo. Tại Quân khu V do T.Ư. chỉ đạo trực tiếp, đến năm 1962, Quân khu đã hình thành 3 trung đoàn bộ binh: 1, 2, 3; mỗi trung đoàn đều có tiểu đoàn pháo và một đại đội đặc công. Đến năm 1963, bộ đội địa phương nhiều tỉnh đã tổ chức đến tiểu đoàn bộ binh và các đại đội binh chủng: đặc công, công binh, trinh sát, thông tin…; mỗi huyện đều có từ 1 - 2 trung đội bộ đội tập trung. Toàn Quân khu có hơn 2 vạn dân quân du kích[9]

Tính đến cuối năm 1961, bộ đội địa phương tỉnh, huyện và bộ đội chủ lực khu có 24.500 người; du kích, tự vệ có 100.000 người (70.000 người ở Nam Bộ, 30.000 người ở khu V). Bộ đội chủ lực thuộc các quân khu có 11 tiểu đoàn[cần dẫn nguồn]. Các tướng lĩnh chỉ huy Quân Giải phóng: Trần Văn Trà, Hoàng Văn Thái, Lê Trọng Tấn, Lê Đức Anh, Nguyễn Thị Định...Theo quy định thời chiến tranh thì chỉ huy cấp sư đoàn trở lên (cả trong nam hay ngoài bắc đều phải được sự đồng ý của Bộ Chính trị khi bổ nhiệm). Từ 1975 từ cấp Tư lệnh và Chính ủy Quân khu, Quân chủng, Quân đoàn trở lên mới do Bộ Chính trị quản lý (Thông báo của Ban Bí thư số 11/T.Ư. ngày 18-4-1975).

Song song với phong trào phá ấp chiến lược là các tai tiếng của chính quyền Ngô Đình Diệm, cùng sự giảm sút uy tín của chính quyền này đối với đa phần nhân dân miền nam[10]. Nhờ đó Mặt trận chiêu mộ được đông đảo thanh thiếu niên và cả phụ nữ, người lớn tuổi tham gia cách mạng. Năm 1963, bộ đội địa phương tỉnh đã tăng lên gấp đôi so với năm 1962, (64.000 quân so với 30.500 quân).[cần dẫn nguồn] Cách tổ chức lực lượng quân đội rất hiệu quả và phù hợp với sự thiếu thốn cán bộ, chuyên môn, vũ khí lúc đó. Quân du kích tự phát sẽ được chỉ đạo thành lập bộ đội địa phương, ít nhiều có kinh nghiệm tác chiến, số còn lại làm dân quân xã. Các lực lượng bộ đội địa phương sẽ được chọn lọc và tập trung để huấn luyện thành bộ đội chủ lực. Từ cấp tiểu đoàn độc lập trở lên, đều thuộc Ban chỉ huy cấp Quân khu. Bộ đội chủ lực cấp trung đoàn trở lên không lấy quân trực tiếp từ địa phương vì dễ nhận nhầm nội gián, vì vậy nguồn quân dự bị sẽ trông chờ vào các đợt bổ sung quân số đến từ miền bắc, kể cả khí tài chiến tranh và quân nhu.

Nhiều trung đoàn chính quy đã thành lập, gồm cả các tiểu đoàn, trung đoàn thành lập tại chỗ hoặc gốc di chuyển từ ngoài bắc vào (đa phần cũng là "bộ đội tập kết" trở lại miền Nam). Từ năm 1964, lực lượng bộ đội từ miền Bắc được đưa nhiều vào miền Nam, tăng cường lực lượng cho Quân Giải phóng miền Nam. Những đơn vị còn giữ nguyên được hỏa lực cơ bản và giàn cán bộ chưa bị thiệt hại nhiều, đều sẽ tham chiến trực tiếp ở chiến trường. Những đơn vị vào chưa đến nơi mà không còn nguyên vẹn, sẽ phân tán thành các nhóm lẻ tẻ để tiếp viện cho các đơn vị bị tiêu hao trong chiến đấu.

Năm 1964, lực lượng từ ngoài Bắc vào có 10.000, đến cuối năm 1973, chỉ tính quân chính quy được chuyển vào Nam là 100.000, và đến tháng 12 năm 1974 quân chính quy Quân Giải phóng ở miền nam lên tới 200.000. Từ sau Hiệp định Paris (1973) được ký, Hiệp định cho phép Quân Giải phóng miền Nam được thay thế vũ khí theo nguyên tắc một đổi một[11]. Theo một tài liệu lực lượng chính quy của Quân giải phóng Miền Nam vào tháng 12-1974 khoảng 290.000 người, trong đó có chừng 90.000 người có quê ở các tỉnh miền Nam. Tỷ lệ thành phần người miền nam trong biên chế lực lượng chính quy Quân giải phóng giảm dần trong suốt chiến tranh do có sự bổ sung thêm bộ đội người miền bắc hành quân vào. Các lực lượng bộ đội địa phương và du kích thì vẫn chủ yếu là người miền Nam.

Tuy nhiên, cần lưu ý là Quân giải phóng Miền Nam không có sự phân biệt giữa bộ đội người miền bắc và bộ đội người miền nam. Trong cùng 1 đơn vị thì tất cả đều là đồng chí, có chung sự chỉ huy, biên chế và trang bị, không có sự phân biệt quê hương, vùng miền. Luôn có sự sáp nhập, chia tách, bổ sung lực lượng, hình thành mới và di chuyển trong Quân đội nhân dân Việt Nam (bao gồm cả Quân giải phóng miền Nam) trên các chiến trường A, B, C, K trong suót thời gian chiến tranh, và theo các mệnh lệnh của Đảng.

Tương quan lực lượng (theo báo cáo tại Hội nghị lần thứ 14 Ban Chấp hành Trung ương Đảng Lao động Việt Nam tháng 1 năm 1968):

• "1959 - 1960, khi mới bắt đầu khởi nghĩa, quân địch 7, ta 1 (lúc đó chưa có quân viễn chinh Hoa Kỳ);
• 1960: địch 10, ta 1;
• 1961: địch 7, ta 1;
• 1962 - 1963: địch 5, ta 1;
• 1965 cho đến 1968: Mỹ vào nửa triệu quân nữa, tất cả, đến bây giờ, địch 3, ta 1."

Các lực lượng vũ trang địa phương, tức du kích và dân quân tự vệ, được tổ chức biên chế khác với bộ đội. Biên chế này phổ biến ở tất cả các vùng do phía Mặt trận kiểm soát. Lực lượng vũ trang mỗi xã được coi là một "xã đội" do "xã đội trưởng" chỉ huy, và tương ứng là huyện đội, tỉnh đội, các lực lượng này gồm cả bộ đội địa phương và du kích. Cấp cao hơn nữa là quân khu. Phía Việt Nam Cộng hòa và Hoa Kỳ thường nhầm lẫn bộ đội địa phương và quân du kích-dân quân tự vệ. Trên thực tế bộ đội địa phương lẫn dân quân tự vệ-du kích thường xuyên chạm trán với Mỹ và Việt Nam Cộng hòa. Bộ đội địa phương có thêm nhiệm vụ làm công tác chính trị. Quy mô của bộ đội địa phương cũng nhỏ hơn nhiều so với du kích.

Ngoài lực lượng bộ đội bố trí ở các huyện, còn có các lực lượng của Tổng đội Thanh niên Xung phong Giải phóng miền Nam được thành lập ngày 20/4/1965. Lực lượng này có nhiệm vụ phụ trách công tác hậu cần, tuyên truyền, dẫn đường, thậm chí sẵn sàng trực tiếp chiến đấu.[12] Lực lượng này chịu sự chỉ đạo của Đoàn Thanh niên Nhân dân Cách mạng Hồ Chí Minh.[13]

Lực lượng du kích thường xuyên chiến đấu là các tay súng tổ chức cho từng xã đội, nhưng du kích không chỉ là người cầm súng nên theo số liệu của Quân Giải phóng miền Nam Việt Nam du kích lên tới khoảng 300.000 người vào năm 1975. Quân đội Hoa Kỳ thường bị tấn công, phục kích bởi lực lượng du kích này, nên phía Việt Nam Cộng hòa thành lập binh chủng Biệt Động Quân với quy mô các liên đoàn (tương đương trung đoàn) để đối phó với du kích.

Tại các thành phố, do đặc thù của việc đánh theo kiểu biệt động nên lực lượng tổ chức biệt động thành. Thành phần nòng cốt là những cư dân địa phương, đóng quân và nuôi giấu ở các cơ sở ven thành phố. Trong đó, "Biệt động Sài Gòn" nổi tiếng nhất với cuộc tấn công năm 1968.

Năm 1976 Quân Giải phóng miền Nam được hợp nhất với quân đội Nhân dân Việt Nam, lấy tên chung là Quân đội Nhân dân Việt Nam[14].

Bộ Tư lệnh các lực lượng vũ trang giải phóng Miền Nam (Bộ chỉ huy Miền) là cơ quan tiền phương của Bộ Tổng tư lệnh, gồm Tư lệnh, phó tư lệnh, chính ủy và phó chính ủy, tham mưu trưởng, phó tham mưu trưởng, chủ nhiệm chính trị, chủ nhiệm hậu cần, trực tiếp chỉ đạo quân sự trên chiến trường B2 (bao gồm các quân khu 6, 7, 8, 9, thành phố Sài Gòn-Gia Định và một số tỉnh trực thuộc).[15]. Về công khai khi thành lập năm 1963 (gắn với Đảng Nhân dân cách mạng và Mặt trận), nó chỉ huy toàn bộ Quân giải phóng ở miền Nam[16], và Tư lệnh, chính ủy,...được gọi là Tư lệnh Quân giải phóng, Chính ủy Quân giải phóng...nhưng thực tế về bí mật chỉ chỉ đạo địa bàn B2 [17][18].